Trước năm 1945, Cao Thượng là một xã thuộc tổng Mục Sơn, phủ Yên Thế, tỉnh Bắc Giang.

Sau năm 1945, xã Cao Thượng hợp nhất với các xã Đạm Phong và Mục Sơn thành xã Cương Lập.

Cuối năm 1955, xã Cương Lập chia thành hai xã Cương Lập và Liên Sơn. Đến năm 1971, xã Cương Lập đổi tên thành xã Cao Thượng.

Ngày 18 tháng 2 năm 1997, Chính phủ ban hành Nghị định 14/CP[1]. Theo đó, thành lập thị trấn Cao Thượng trên cơ sở 238,96 ha diện tích tự nhiên và 3.810 người của xã Cao Thượng; 28,3 ha diện tích tự nhiên và 781 người của xã Cao Xá; 1,88 ha diện tích tự nhiên và 72 người của xã Liên Sơn.

Sau khi thành lập, thị trấn Cao Thượng có 269,14 ha diện tích tự nhiên và 4.663 người. Xã Cao Thượng còn lại 627,79 ha diện tích tự nhiên và 5.909 người.

Trước khi sáp nhập, thị trấn Cao Thượng có diện tích 2,58 km², dân số là 6.756 người, mật độ dân số đạt 2.619 người/km², gồm 3 phố: Hoàng Hoa Thám, Phố Mới, Ngô Xá và 10 khu: Ngò, Đồng Mới, Chợ, Đông, Vườn Đình, Đình Giã, Thiếm, Nguộn, Đầu, Đồi Đỏ. Xã Cao Thượng có diện tích 6,86 km², dân số là 6.567 người, mật độ dân số đạt 957 người/km², gồm 13 thôn: Hòa Sơn, Chám, Trong Thượng, Đình, Bậu, Bùi, Hợp Tiến, Tân Lập, Tân Tiến, Chùa, Trong Hạ, Ngoài Hạ, Phố Bùi.

Ngày 21 tháng 11 năm 2019, Ủy ban Thường vụ Quốc hội ban hành Nghị quyết 813/NQ-UBTVQH14[3]. Theo đó, sáp nhập toàn bộ diện tích và dân số của xã Cao Thượng vào thị trấn Cao Thượng.